<!DOCTYPE html>
<html lang="zh-cmn-Hans" prefix="og: http://ogp.me/ns#" class="han-init">
<head>
  <meta charset="utf-8">
  <meta charset="utf-8">
  <meta http-equiv="X-UA-Compatible" content="IE=edge">
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1" />
  <link rel="icon" href="http://upeng.github.io/favicon.ico">
  <title>upeng</title>
  <link rel="stylesheet" href="/css/style.css">
  <link rel="stylesheet" href="/lib/fancybox/jquery.fancybox-1.3.4.css">
  <!--在这里倒入jquery 方便处理部分页面的jquery-->
  <script src="https://cdn.staticfile.org/jquery/1.7/jquery.min.js" type="text/javascript" ></script>
</head>

<body>
	<header class="site-header navfixed-false">
  <div class="container">
      <h1><a href="/" title="upeng"><span class="octicon octicon-mark-github"></span> upeng</a></h1>
      <nav class="site-header-nav" role="navigation">
        
              
              <a href="/"  class=" site-header-nav-item hvr-underline-from-center" title="Home">Home</a>
        
              
              <a href="/categories/"  class=" site-header-nav-item hvr-underline-from-center" title="Categories">Categories</a>
        
              
              <a href="/bookmark/"  class=" site-header-nav-item hvr-underline-from-center" title="Bookmark">Bookmark</a>
        
              
              <a href="http://shareup.sinaapp.com"  class=" site-header-nav-item hvr-underline-from-center" title="Share">Share</a>
        
              
              <a href="/about/"  class=" site-header-nav-item hvr-underline-from-center" title="About">About</a>
        
      </nav>
  </div>
</header>

	
<section class="collection-head geopattern" data-pattern-id="一个脚本引发的思考" >
    <div class="container">
        <div class="collection-title">
            <h1 class="collection-header">
                一个脚本引发的思考
            </h1>
            
                <div class="collection-info">
                    <span class="meta-info">
                        <span class="octicon octicon-calendar"></span>
                        <time datetime="2016-02-24T16:19:00.000Z" itemprop="datePublished">2016-02-25</time>
                    </span>
                    
                        <span class="meta-info">
                            <span class="octicon octicon-file-directory"></span>
                            <a href='/categories/MySQL/' title=''>MySQL</a>
                        </span>
                    
                </div>
            
        </div>
    </div>
</section>
	<section class="container">
    <div class="columns">
        <!-- -->
        <div class="column three-fourths">
            <article class="article-content markdown-body">
                <h2 id="问题来源："><a href="#问题来源：" class="headerlink" title="问题来源："></a>问题来源：</h2><p>前段时间写了一个crontab脚本，每5分钟连接一次数据库，遍历库中待处理的任务，一旦发现待处理(status=0)的任务,则将该任务状态置为处理中(status=1)，然后开始执行这个任务（dealing process），执行完成status=2</p>
<blockquote>
<p>最初我是一次性将所有任务设为处理中，然后一个一个串行处理，这样效率极低，一个任务可能要1个小时，其他的只能排队等。</p>
</blockquote>
<a id="more"></a>
<p><strong>Q1:</strong>如果一次性插入多个任务到任务表（比如5个,初始都是status=0），当cron执行第三条的时候，5分钟到了，然后开启第二个cron进程，继续扫描任务表，发现有2个待处理，于是去处理。。。可是，这个时候，如果第一个进程刚刚执行完第3个任务，开始执行第4个任务（也就是第二个进程的第1个任务），但是总会有一个进程会拿到这个任务，另一个进程会出现执行失败的情况</p>
<p><strong>原因如下：</strong></p>
<p>先遍历数据库，将待处理任务取出<br><em>第一个进程，将5个任务存入数组</em><br>$firstTask = array(1,2,3,4,5)<br><em>5min后，第二个进程，将2个任务存入数组</em><br>$secondTask = array(4,5)<br>如果第4个任务被第一个进程执行，但是此时4、5任务均位于第二个进程待处理范围，会继续run，这时候update任务表时，返回false;因为第4个任务已经被第一个进程处理了（已经update了）！<br>当然，这是没有问题的，最终5个任务都会被处理掉，不管他们是那个进程处理的，但是过程中，会出现返回false，伴随更新数据库失败的发生，为了避免这一个问题的发生，在update任务表之前，要先查询任务的状态，如果处理中(status=1)，OK，跳出此次循环，continue。。。这样的话，可以充分利用<strong>多进程并行处理多任务</strong>。</p>
<p><strong>Q2:</strong>如果一个任务处理时间较长，当处理完成，再次更新任务状态时失败，因为数据库已经失联了！对，断开连接，为什么？因为如果长时间链接数据库，而又没有操作，相当占用服务资源，我们都知道，数据库的链接数量是有限的，如果一直占着资源不放，其他作业就无法进行。就像一句俗语你懂的！</p>
<p>所有数据库一般都设置了连接超时时间，比如30s自动断开连接，再次使用只能重新连接<br><strong>查看mysql当前连接数</strong><br><code>show processlist;</code><br><img src="http://upfriend-blog.stor.sinaapp.com/bucket%2F2016011202.jpg" alt="请输入图片描述"><br><strong>查看mysql超时时间设置</strong><br><code>show variables like &#39;%timeout%&#39;;</code><br><img src="http://upfriend-blog.stor.sinaapp.com/bucket%2F20160112002223.jpg" alt="请输入图片描述"></p>
<p>所以为了保证任务顺利完成，可以在每个sql操作前进行mysql的connection连接（基于单例模式，如果已经连接，则不需再连接）</p>

            </article>
            
                <div class="share">
                    <!--开启分享-->
<div class="share-component" data-disabled="google,twitter,facebook" data-description="问题来源：前段时间写了一个crontab脚本，每5分钟..."></div>

<script src="/js/share.min.js"></script>

                </div>    
            
            
                
<div class="comments">
	<div class="ds-thread" data-thread-key="mysql-think" data-title="一个脚本引发的思考" data-url="http://upeng.github.io/2016/02/25/mysql-think/"></div>
	<script type="text/javascript">
	var duoshuoQuery = {short_name:"upeng"};
		(function() {
			var ds = document.createElement('script');
			ds.type = 'text/javascript';ds.async = true;
			ds.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') + '//static.duoshuo.com/embed.js';
			ds.charset = 'UTF-8';
			(document.getElementsByTagName('head')[0]
			 || document.getElementsByTagName('body')[0]).appendChild(ds);
		})();
	</script>
</div>

            
        </div>
        <div class="column one-fourth">
            
                
                


<h3>Post Directory</h3>

<div id="post-directory-module">
	<section class="post-directory">
		<p><strong class="toc-title">文章目录</strong></p>
		<ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#问题来源："><span class="toc-text">问题来源：</span></a></li></ol>
	</section>
</div>
            
        </div>
    </div>
</section>

<footer class="container">
    <div class="site-footer" role="contentinfo">
        <div class="copyright left mobile-block">
                © 2016
                <span title="yupeng">yupeng</span>
                <a href="javascript:window.scrollTo(0,0)" class="right mobile-visible">TOP</a>
        </div>

        <ul class="site-footer-links right mobile-hidden">
            <li>
                <a href="javascript:window.scrollTo(0,0)" >TOP</a>
            </li>
        </ul>

        <a href="https://github.com/upeng" target="_blank" aria-label="view source code">
            <span class="mega-octicon octicon-mark-github" title="GitHub"></span>
        </a>

        <ul class="site-footer-links mobile-hidden">
            
                  
                  <li>
                    <a href="/"  title="Home">Home</a>
                  </li>
            
                  
                  <li>
                    <a href="/categories/"  title="Categories">Categories</a>
                  </li>
            
                  
                  <li>
                    <a href="/bookmark/"  title="Bookmark">Bookmark</a>
                  </li>
            
                  
                  <li>
                    <a href="http://shareup.sinaapp.com"  title="Share">Share</a>
                  </li>
            
                  
                  <li>
                    <a href="/about/"  title="About">About</a>
                  </li>
            
            <li>
                <a href="/atom.xml">
                    <span class="octicon octicon-rss" style="color:orange;"></span>
                </a>
            </li>
        </ul>
    </div>
</footer>


		<script src="/js/geopattern.js"></script>

		
			<script src="/js/toc.js"></script>
		

		<script src="/js/highlight.pack.js"></script>
		<script src="/lib/fancybox/jquery.fancybox-1.3.4.pack.js"></script>

		<script src="/js/index.js"></script>

		 <script src="/js/popular_repo.js"></script> 

	</body>
</html>